The Effect of Space-filling Curves on the Efficiency of Hand Gesture Recognition Based on sEMG Signals

Over the past few years, Deep learning (DL) has revolutionized the field of data analysis. Not only are the algorithmic paradigms changed, but also the performance in various classification and prediction tasks has been significantly improved with respect to the state-of-the-art, especially in the area of computer vision. The progress made in computer vision has produced a spillover in many other domains, such as biomedical engineering. Some recent works are directed towards surface electromyography (sEMG) based hand gesture recognition, often addressed as an image classification problem and solved using tools such as Convolutional Neural Networks (CNN). This paper extends our previous work on the application of the Hilbert space-filling curve for the generation of image representations from multi-electrode sEMG signals, by investigating how the Hilbert curve compares to the Peano- and Z-order space-filling curves. The proposed space-filling mapping methods are evaluated on a variety of network architectures and in some cases yield a classification improvement of at least 3%, when used to structure the inputs before feeding them into the original network architectures

On the Comparison of Wearable Sensor Data Fusion to a Single Sensor Machine Learning Technique in Fall Detection

In the context of the ageing global population, researchers and scientists have tried to find solutions to many challenges faced by older people. Falls, the leading cause of injury among elderly, are usually severe enough to require immediate medical attention; thus, their detection is of primary importance. To this effect, many fall detection systems that utilize wearable and ambient sensors have been proposed. In this study, we compare three newly proposed data fusion schemes that have been applied in human activity recognition and fall detection. Furthermore, these algorithms are compared to our recent work regarding fall detection in which only one type of sensor is used. The results show that fusion algorithms differ in their performance, whereas a machine learning strategy should be preferred. In conclusion, the methods presented and the comparison of their performance provide useful insights into the problem of fall detection

Αναγνώριση προτύπων πολυκάναλου ΗΜΓ με χρήση βαθιάς μάθησης

In recent years, a huge body of data generated by various applications in domains like social networks and healthcare have paved the way for the development of high performance models. Deep learning has transformed the field of data analysis by dramatically improving the state of the art in various classification and prediction tasks. Combined with advancements in electromyography it has given rise to new hand gesture recognition applications, such as human computer interfaces, sign language recognition, robotics control and rehabilitation games. The purpose of this thesis is to develop novel methods for electromyography signal analysis based on deep learning for the problem of hand gesture recognition. Specifically, we focus on methods for data preparation and developing accurate models even when few data are available. Electromyography signals are in general one-dimensional time-series with a rich frequency content. Various feature sets have been proposed in literature however due to the stochastic nature of the signals the performance of the developed models depends on the combination of the features and the classifier. On the other hand, the end-to-end training scheme of deep learning models reduces the effort needed for finding the best features and classification model, yet a suitable preprocessing of the signals is still required. Another problem is that variations in gesture duration, sensor placement and muscle physiology require continuous adaptation of the trained models using new recorded data. The implementation is based on surface electromyography sensors, which comprise the input to the end-to-end deep learning pipelines that process and classify the electromyography signals. Preprocessing and data preparation techniques for electromyograms are examined, while data augmentation and transfer learning approaches allow developing personalized models even when few data are available. Besides their successful application in other domains, the use of deep learning models allows the development of systems that can easily generalize to new users. The use of electromyography sensors is important because the developed system can detect whether any unwanted compensatory movements are performed, which under typical vision-based interfaces is impossible. The advancements proposed in this thesis have been evaluated with publicly available data repositories. However, considering that the models are trained in an end-to-end fashion they can be easily adapted to different setups.Τα τελευταία χρόνια, ένα τεράστιο σύνολο δεδομένων που παράγονται από διάφορες εφαρμογές σε τομείς όπως τα κοινωνικά δίκτυα και η υγειονομική περίθαλψη έχουν ανοίξει το δρόμο για την ανάπτυξη μοντέλων μηχανικής μάθησης με υψηλή απόδοση. Η βαθιά μάθηση έχει μεταμορφώσει το πεδίο της ανάλυσης δεδομένων βελτιώνοντας δραματικά την ακρίβεια σε εφαρμογές ταξινόμησης και πρόβλεψης. Σε συνδυασμό με τις εξελίξεις στην ηλεκτρομυογραφία, συνέβαλε στην ανάπτυξη νέων εφαρμογών αναγνώρισης χειρονομιών και κινήσεων του χεριού, όπως διεπαφές ανθρώπου υπολογιστή, αναγνώριση νοηματικής γλώσσας, έλεγχο ρομποτικών συστημάτων και παιχνίδια φυσικής αποκατάστασης. Ο σκοπός αυτής της διατριβής είναι να αναπτύξει νέες μεθόδους για την ανάλυση των σημάτων ηλεκτρομυογραφίας με βάση τη βαθιά μάθηση για το πρόβλημα της αναγνώρισης χειρονομιών. Συγκεκριμένα, εστιάζουμε σε μεθόδους για την προετοιμασία δεδομένων και την ανάπτυξη μοντέλων υψηλής απόδοσης, ακόμη και όταν λίγα δεδομένα είναι διαθέσιμα. Τα σήματα ηλεκτρομυογραφίας ανήκουν γενικά στην κατηγορία των μονοδιάστατων χρονοσειρών, έχουν όμως πλούσιο συχνοτικό περιεχόμενο. Διάφορα σύνολα χαρακτηριστικών έχουν προταθεί στη βιβλιογραφία, ωστόσο, λόγω της στοχαστικής φύσης των σημάτων, η ακρίβεια της ταξινόμησης εξαρτάται από το συνδυασμό των χαρακτηριστικών και του ταξινομητή. Από την άλλη πλευρά, η εκπαίδευση των μοντέλων βαθιάς μάθησης μειώνει την προσπάθεια που απαιτείται για την εύρεση των κατάλληλων χαρακτηριστικών και του μοντέλου ταξινόμησης, ωστόσο απαιτείται ακόμη μια σωστή προεπεξεργασία των σημάτων. Ένα άλλο πρόβλημα είναι ότι οι διακυμάνσεις στη διάρκεια της χειρονομίας, στην τοποθέτηση του αισθητήρα και στη φυσιολογία των μυών απαιτούν συνεχή προσαρμογή των εκπαιδευμένων μοντέλων χρησιμοποιώντας νέα καταγεγραμμένα δεδομένα. Αρχικά, παρουσιάζονται οι σχετικές έννοιες και η βιβλιογραφία που αφορούν στο πρόβλημα της ταξινόμησης κινήσεων του χεριού με τεχνικές μηχανικής μάθησης. Η μελέτη του προβλήματος ξεκινά με ένα απλό συνελικτικό νευρωνικό δίκτυο που επιτρέπει τη διερεύνηση των σημαντικών παραμέτρων. Την είσοδο του μοντέλου αποτελούν εικόνες του σήματος που δημιουργούνται με τη μέθοδο των κυλιόμενων παραθύρων και έχουν διαστάσεις που εξαρτώνται από τη διάρκεια του παραθύρου και των αριθμό των αισθητήρων. Στη συνέχεια αναζητήθηκαν τεχνικές που να επιτρέπουν την καλύτερη μοντελοποίηση της χρονικής εξάρτησης των σημάτων. Η χρήση ακολουθιών φράκταλ και συγκεκριμένα της καμπύλης Χίλμπερτ επιτρέπει την αναδίπλωση μιας χρονοσειράς στον 2Δ χώρο διατηρώντας τη γειτνίαση των σημείων και επιτρέποντας το συσχετισμό μακρινών σημείων. Η εκπαίδευση νευρωνικών δικτύων με δεδομένα αυτής της μορφής οδηγεί σε σημαντική βελτίωση της ακρίβειας τους. Η σύγκριση με άλλες καμπύλες φράκταλ φανερώνει την βελτιωμένη απόδοση των νευρωνικών δικτύων που χρησιμοποιούν την καμπύλη Χίλμπερτ. Επιπλέον, παρουσιάζεται ένα συνελικτικό δίκτυο που επιτρέπει τη χρήση πολλαπλών επιπέδων της καμπύλης φράκταλ συμβάλλοντας στην εκπαίδευση μοντέλων με λιγότερες παραμέτρους χωρίς να επηρεάζεται αρνητικά η ακρίβεια. Ακολουθεί η μελέτη χρονικών συνελικτικών δικτύων τα οποία προτιμώνται για την καλύτερη απόδοση τους σε σχέση με τα αναδρομικά δίκτυα. Η ανάλυση των εξαγόμενων χαρακτηριστικών δείχνει την ικανότητα αυτών των δικτύων στη μοντελοποίηση χρονοσειρών. Για την ταξινόμηση χρησιμοποιείται ως τελευταίο στάδιο της αρχιτεκτονικής ένα επίπεδο προσοχής που συνοψίζει τα πιο σημαντικά χαρακτηριστικά του σήματος. Στη συνέχεια της διατριβής παρουσιάζεται η συστηματική μελέτη τεχνικών επαύξησης δεδομένων. Αρχικά, αναλύονται οι σχετικές μελέτες στη βιβλιογραφία που αφορούν την αύξηση δεδομένων χρονοσειρών καθώς και μοντέλα προσομοίωσης σημάτων ηλεκτρομυογραφίας. Από τις τεχνικές που βρέθηκαν στη βιβλιογραφία αξιολογούνται η πρόσθεση Γκαουσιανού θορύβου, η στρέβλωση του πλάτους του σήματος, καθώς και δύο τεχνικές που αφορούν στη δημιουργία τεχνητών σημάτων. Επίσης, γίνεται χρήση της αποσύνθεσης του σήματος με τη χρήση της αποσύνθεσης κυματίων, ενώ παρουσιάζονται τρεις διαφορετικοί τρόποι συνδυασμού των παραπάνω τεχνικών. Τόσο η ποιοτική όσο και η ποσοτική ανάλυση των αποτελεσμάτων σε δύο διαφορετικές βάσεις δεδομένων δείχνουν ότι αυτές οι μέθοδοι μπορούν να βελτιώσουν σημαντικά την αναγνώριση των κινήσεων. Έπειτα, εξετάζονται οι τεχνικές μεταφοράς μάθησης με σκοπό την ανάπτυξη μοντέλων ακόμα και όταν λίγα δεδομένα είναι διαθέσιμα. Αναπτύσσεται μια πειραματική διαδικασία για την αξιολόγηση της βελτιστοποίησης ταυτόχρονων εργασιών. Η υπόθεση που διερευνάται είναι εάν η χρήση βοηθητικών εργασιών, όπως η εκτίμηση της παραγόμενης δύναμης κατά την εκτέλεση των κινήσεων, μπορεί να βελτιώσει την κύρια εργασία που είναι η σωστή ταξινόμηση της κίνησης. Μια εναλλακτική μέθοδος είναι η προσαρμογή πεδίου. Συγκεκριμένα υποθέτουμε ότι ένα νευρωνικό δίκτυο εκπαιδευμένο για την ταξινόμηση των κινήσεων σε μία βάση δεδομένων μπορεί να εξάγει χαρακτηριστικά που να είναι χρήσιμα για την ταξινόμηση των κινήσεων μιας άλλης βάσης δεδομένων. Παράλληλα διερευνάται και η επίδραση της προεπεξεργασίας στην εκπαίδευση των μεταφερόμενων μοντέλων. Τα αποτελέσματα παρουσιάζουν σημαντική βελτίωση για το στάδιο προεπεξεργασίας που διατηρεί μόνο την ανερχόμενη φάση του σήματος, πράγμα που σημαίνει ότι γίνεται σωστή πρόβλεψη της εκτελούμενης κίνησης χρησιμοποιώντας ένα ποσοστό της διάρκειας του σήματος. Επιπλέον, διαφορές στην απόδοση εντοπίζονται μεταξύ των νευρωνικών δικτύων. Η διατριβή ολοκληρώνεται με την περίληψη των σημαντικών συμπερασμάτων καθώς και με προτάσεις για μελλοντική έρευνα

Applying BERT for Early-Stage Recognition of Persistence in Chat-Based Social Engineering Attacks

Chat-based social engineering (CSE) attacks are attracting increasing attention in the Small-Medium Enterprise (SME) environment, given the ease and potential impact of such an attack. During a CSE attack, malicious users will repeatedly use linguistic tricks to eventually deceive their victims. Thus, to protect SME users, it would be beneficial to have a cyber-defense mechanism able to detect persistent interlocutors who repeatedly bring up critical topics that could lead to sensitive data exposure. We build a natural language processing model, called CSE-PersistenceBERT, for paraphrase detection to recognize persistency as a social engineering attacker’s behavior during a chat-based dialogue. The CSE-PersistenceBERT model consists of a pre-trained BERT model fine-tuned using our handcrafted CSE-Persistence corpus; a corpus appropriately annotated for the specific downstream task of paraphrase recognition. The model identifies the linguistic relationship between the sentences uttered during the dialogue and exposes the malicious intent of the attacker. The results are satisfactory and prove the efficiency of CSE-PersistenceBERT as a recognition mechanism of a social engineer’s persistent behavior during a CSE attack

Real-Time Analysis of Hand Gesture Recognition with Temporal Convolutional Networks

In recent years, the successful application of Deep Learning methods to classification problems has had a huge impact in many domains. (1) Background: In biomedical engineering, the problem of gesture recognition based on electromyography is often addressed as an image classification problem using Convolutional Neural Networks. Recently, a specific class of these models called Temporal Convolutional Networks (TCNs) has been successfully applied to this task. (2) Methods: In this paper, we approach electromyography-based hand gesture recognition as a sequence classification problem using TCNs. Specifically, we investigate the real-time behavior of our previous TCN model by performing a simulation experiment on a recorded sEMG dataset. (3) Results: The proposed network trained with data augmentation yields a small improvement in accuracy compared to our existing model. However, the classification accuracy is decreased in the real-time evaluation, showing that the proposed TCN architecture is not suitable for such applications. (4) Conclusions: The real-time analysis helps in understanding the limitations of the model and exploring new ways to improve its performance

Data Augmentation of Surface Electromyography for Hand Gesture Recognition

The range of applications of electromyography-based gesture recognition has increased over the last years. A common problem regularly encountered in literature is the inadequate data availability. Data augmentation, which aims at generating new synthetic data from the existing ones, is the most common approach to deal with this data shortage in other research domains. In the case of surface electromyography (sEMG) signals, there is limited research in augmentation methods and quite regularly the results differ between available studies. In this work, we provide a detailed evaluation of existing (i.e., additive noise, overlapping windows) and novel (i.e., magnitude warping, wavelet decomposition, synthetic sEMG models) strategies of data augmentation for electromyography signals. A set of metrics (i.e., classification accuracy, silhouette score, and Davies–Bouldin index) and visualizations help with the assessment and provides insights about their performance. Methods like signal magnitude warping and wavelet decomposition yield considerable increase (up to 16%) in classification accuracy across two benchmark datasets. Particularly, a significant improvement of 1% in the classification accuracy of the state-of-the-art model in hand gesture recognition is achieved